尽管在自然语言处理（NLP）中经常发生的经常性神经网络（RNN），但由于RNN中的本质上复杂计算，RNN的理论理解仍然有限。我们在普遍存在的NLP任务中对RNNS的行为进行了系统分析，通过映射到一种称为经常性算术电路（RAC）和矩阵产品状态（MPS）之间的映射来对电影评论的情感分析。使用von-neumann纠缠熵（EE）作为信息传播的代理，我们表明单层RACS具有最大信息传播能力，由EE的饱和反映。放大超出EE饱和阈值的MP的键尺寸不会增加预测精度，因此可以构建最佳估计数据统计数据的最小模型。虽然饱和EE小于MPS的面积法可实现的最大EE，但我们的模型在现实情绪分析数据集中实现了〜99％的训练准确性。因此，单独的低EE不是针对NLP采用单层RAC的权证。与常见的信念相反，远程信息传播是RNNS表达的主要来源，我们表明单层RACS也从有意义的单词矢量嵌入中利用高表现力。我们的工作揭示了在RAC的现象学中，更一般地用于NLP的RNNS的解释性方面，使用来自许多身体量子物理学的工具。
translated by 谷歌翻译